Hadoop安装与配置（二）
1.1搭建zookeeper集群
（1）下载并解压zookeeper
到官网（地址：http://Zookeeper.apache.org/releases.html# download）下载Zookeeper稳定版本的apache-zookeeper-3.8.4-bin.tar.gz安装包，然后上传至hadoop1 节点的/home/hadoop/app目录下并解压，具体操作如下所示。
#解压Zookeeper
[hadoop@hadoop1 app]$ tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
#创建Zookeeper软连接
[hadoop@hadoop1 app]$ ln -s apache-zookeeper-3.8.4-bin zookeeper
（2）修改zoo.cfg配置文件
在运行 Zookeeper 服务之前，需要新建一个配置文件。这个配置文件习惯上命名为zoo.cfg，并保存在conf子目录中，其核心内容如下所示。
[hadoop@hadoop1 app]$ cd zookeeper
[hadoop@hadoop1 zookeeper]$ cd conf/
[hadoop@hadoop1 conf]$ ls
configuration.xsl  logback.xml  zoo_sample.cfg
[hadoop@hadoop1 conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop@hadoop1 conf]$ vi zoo.cfg
#数据目录需要提前创建
dataDir=/home/hadoop/data/zookeeper/zkdata
#日志目录需要提前创建
dataLogDir=/home/hadoop/data/zookeeper/zkdatalog
#访问端口号
clientPort=2181
#server.每个节点服务编号=服务器ip地址:集群通信端口:选举端口
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888
具体操作步骤如图1-1所示。

图1-1 修改zoo.cfg配置文件
（3）同步zookeeper安装目录
使用scp命令将hadoop1节点的Zookeeper安装目录，整体同步到集群的hadoop2和hadoop3节点，具体操作如下所示。
方法1：使用远程拷贝命令scp，操作步骤如下。
[hadoop@hadoop1 app]$scp -r zookeeper-3.4.6 hadoop@hadoop2:/home/hadoop/app/
[hadoop@hadoop1 app]$scp -r zookeeper-3.4.6  hadoop@hadoop3:/home/hadoop/app/
方法2：使用集群脚本，操作步骤如下。
[hadoop@hadoop1 app]$ deploy.sh apache-zookeeper-3.8.4-bin /home/hadoop/app/ slave
然后分别在hadoop2和hadoop3节点上创建Zookeeper软连接，具体操作如下所示。
[hadoop@hadoop2 app]$ ln -s apache-zookeeper-3.8.4-bin zookeeper
[hadoop@hadoop3 app]$ ln -s apache-zookeeper-3.8.4-bin zookeeper
（4）创建数据和日志目录
在集群各个节点创建Zookeeper数据目录和日志目录，需要跟zoo.cfg配置文件保持一致，具体操作如下所示。
#创建Zookeeper数据目录
方法1：三个节点分别创建。
[hadoop@hadoop1 app]$mkdir -p /home/hadoop/data/zookeeper/zkdata
[hadoop@hadoop2 app]$mkdir -p /home/hadoop/data/zookeeper/zkdata
[hadoop@hadoop3 app]$mkdir -p /home/hadoop/data/zookeeper/zkdata
方法2：使用集群脚本。
[hadoop@hadoop1 ~]$ runRemoteCmd.sh 'mkdir -p /home/hadoop/data/zookeeper/zkdata' all
执行效果如图1-2所示。

图1-2 创建zkdata目录
#创建Zookeeper日志目录
方法1：
[hadoop@hadoop1 app] mkdir -p /home/hadoop/data/zookeeper/zkdatalog
[hadoop@hadoop2 app] mkdir -p /home/hadoop/data/zookeeper/zkdatalog
[hadoop@hadoop3 app] mkdir -p /home/hadoop/data/zookeeper/zkdatalog
方法2：（必须安装配置相应脚本工具）
[hadoop@hadoop1 ~]$ runRemoteCmd.sh 'mkdir -p /home/hadoop/data/zookeeper/zkdatalog' all
执行效果如图1-3所示。

图1-3 创建zkdatalog目录
（5）创建各节点服务编号
分别在Zookeeper集群各个节点，进入/home/hadoop/data/zookeeper/zkdata目录，创建文件myid，然后分别输入服务编号，具体操作如下所示：
#hadoop1节点
[hadoop@hadoop1 zkdata]$ touch myid
[hadoop@hadoop1 zkdata]$ echo 1 > myid
#hadoop2节点
[hadoop@hadoop2 zkdata]$ touch myid
[hadoop@hadoop2 zkdata]$ echo 2 > myid
#hadoop3节点
[hadoop@hadoop3 zkdata]$ touch myid
[hadoop@hadoop3 zkdata]$ echo 3 > myid
注意：每个节点服务编号的值是一个整形数字且不能重复。
（6）启动Zookeeper集群服务
1）在集群各个节点分别进入Zookeeper安装目录，然后使用如下命令启动Zookeeper服务。
方法1：
[hadoop@hadoop1 zookeeper]$ bin/zkServer.sh start
[hadoop@hadoop2 zookeeper]$ bin/zkServer.sh start
[hadoop@hadoop3 zookeeper]$ bin/zkServer.sh start
方法2：
[hadoop@hadoop1 ~]$ runRemoteCmd.sh '/home/hadoop/app/zookeeper/bin/zkServer.sh start' all
执行效果如图1-4所示。

图1-4 启动zookeeper集群
2）Zookeeper集群启动一会之后，通过如下命令查看Zookeeper集群状态。
方法1：
[hadoop@hadoop:1 zookeeper]$ bin/zkServer.sh status
[hadoop@hadoop2 zookeeper]$ bin/zkServer.sh status
[hadoop@hadoop3 zookeeper]$ bin/zkServer.sh status
方法2：
[hadoop@hadoop1 ~]$ runRemoteCmd.sh '/home/hadoop/app/zookeeper/bin/zkServer.sh status' all
执行效果如图1-5所示。

图1-5 查看zookeeper集群状态
如果在Zookeeper集群中，其中一个节点为leader领导者，另外两个节点是follower跟随者，说明Zookeeper集群安装部署成功。
1.2搭建完全分布式Hadoop集群
1.1.1 HDFS集训搭建
（1）下载解压Hadoop
首先到官网(地址:https://archive.apache.org/dist/hadoop/common/)下载Hadoop稳定版本的安装包，然后上传至hadoop1节点下的/home/hadoop/app目录下并解压，具体操作如下所示。
[hadoop@hadoop1 app]$ tar  -zxvf  hadoop-3.3.1.tar.gz		//解压
[hadoop@hadoop1 app]$ ln  -s  hadoop-3.3.1  hadoop		//创建软连接
[hadoop@hadoop1 app]$ cd  /home/hadoop/app/hadoop/etc/hadoop/  //切换到配置目录
（2）修改HDFS配置文件
1）修改hadoop-env.sh配置文件。hadoop-env.sh文件主要配置跟hadoop环境相关的变量，这里主要修改JAVA_HOME的安装目录，具体操作如下所示。
[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk
2）修改core-site.xml配置文件。core-site.xml文件主要配置hadoop的公有属性，具体需要配置的每个属性如下所示。
[hadoop@hadoop1 hadoop]$ vi core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
	<!--默认的HDFS路径-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop/data/tmp</value>
	</property>
	<!--hadoop的临时目录，如果需要配置多个目录，需要逗号隔开-->
	<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
	</property>
	<!--配置Zookeeper 管理HDFS-->
</configuration>
3）修改hdfs-site.xml配置文件。hdfs-site.xml文件主要配置跟HDFS相关的属性，具体需要配置的每个属性如下所示。
[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml
<configuration>
<!-- NameNode 数据存储目录 -->
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/home/hadoop/data/dfs/name</value>
 </property>
<!-- DataNode 数据存储目录 -->
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/home/hadoop/data/dfs/data</value>
 </property>
<!-- JournalNode 数据存储目录 -->
 <property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hadoop/data/journaldata/jn</value>
 </property>
<!-- 完全分布式集群名称 -->
 <property>
 <name>dfs.nameservices</name>
 <value>mycluster</value>
 </property>
<!-- 集群中 NameNode 节点都有哪些 -->
 <property>
 <name>dfs.ha.namenodes.mycluster</name>
 <value>nn1,nn2,nn3</value>
 </property>
<!-- NameNode 的 RPC 通信地址 -->
 <property>
 <name>dfs.namenode.rpc-address.mycluster.nn1</name>
 <value>hadoop1:8020</value>
 </property>
 <property>
 <name>dfs.namenode.rpc-address.mycluster.nn2</name>
 <value>hadoop2:8020</value>
 </property>
 <property>
 <name>dfs.namenode.rpc-address.mycluster.nn3</name>
 <value>hadoop3:8020</value>
 </property>
<!-- NameNode 的 http 通信地址 -->
 <property>
 <name>dfs.namenode.http-address.mycluster.nn1</name>
 <value>hadoop1:9870</value>
 </property>
 <property>
 <name>dfs.namenode.http-address.mycluster.nn2</name>
 <value>hadoop2:9870</value>
 </property>
 <property>
 <name>dfs.namenode.http-address.mycluster.nn3</name>
 <value>hadoop3:9870</value>
 </property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
 <property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/mycluster</value>
 </property>
<!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
 <property>
 <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
 <property>
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence</value>
 </property>
<!-- 使用隔离机制时需要 ssh 秘钥登录-->
 <property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
 </property>
<!-- 启用 nn 故障自动转移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
</configuration>
4）配置workers文件。workers文件是根据集群规划配置DataNode节点所在的主机名，具体操作如下所示。
[hadoop@hadoop1 hadoop]$ vi workers
hadoop1
hadoop2
hadoop3
5）向所有节点远程复制Hadoop安装目录。在hadoop1节点，切换到/home/hadoop/app目录下，将Hadoop安装目录远程复制到hadoop2和hadoop3节点，具体操作如下两种方法：
方法1：
[hadoop@hadoop1 app]$scp -r  hadoop-3.3.1  hadoop@hadoop2:/home/hadoop/app/
[hadoop@hadoop1 app]$scp -r  hadoop-3.3.1  hadoop@hadoop3:/home/hadoop/app/
方法2：
[hadoop@hadoop1 hadoop]$ deploy.sh /home/hadoop/app/hadoop-3.3.1 /home/hadoop/app slave
然后在hadoop2和hadoop3节点上分别创建软连接，具体操作如下所示。
[hadoop@hadoop2 app]$ ln -s hadoop-3.3.1 hadoop
[hadoop@hadoop3 app]$ ln -s hadoop-3.3.1 hadoop
备注：复制前删除使用rm -rf hadoop hadoop-3.3.1命令hadoop1、hadoop2上的hadoop hadoop-3.3.1目录
1.1.2 启动HDFS集群服务
（1）启动Zookeeper集群
在集群所有节点分别启动Zookeeper服务，具体操作如下所示。
方法1：分别在三个节点启动。
[hadoop@hadoop1 zookeeper]$ bin/zkServer.sh start
[hadoop@hadoop2 zookeeper]$ bin/zkServer.sh start
[hadoop@hadoop3 zookeeper]$ bin/zkServer.sh start
方法2：使用远程执行脚本。
[hadoop@hadoop1 hadoop]$ runRemoteCmd.sh '/home/hadoop/app/zookeeper/bin/zkServer.sh start ' all
（2）启动Journalnode集群
在集群所有节点分别启动Journalnode服务，具体操作如下所示。
方法1：分别在三个节点启动。
[hadoop@hadoop1 hadoop]$sbin/hadoop-daemon.sh start journalnode
[hadoop@hadoop2 hadoop]$sbin/hadoop-daemon.sh start journalnode
[hadoop@hadoop3 hadoop]$sbin/hadoop-daemon.sh start journalnode
方法2：使用远程执行脚本。
[hadoop@hadoop1 hadoop]$ runRemoteCmd.sh '/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode' all
（3）格式化主节点NameNode
在hadoop1节点（NameNode主节点）上，使用如下命令对NameNode进行格式化。
[hadoop@hadoop1 hadoop]$ bin/hdfs namenode -format  / /n amenode 格式化
[hadoop@hadoop1 hadoop]$ bin/hdfs zkfc -formatZK  //格式化高可用
[hadoop@hadoop1 hadoop]$bin/hdfs namenode  //启动namenode
（4）备用NameNode同步主节点元数据
在hadoop1节点启动NameNode服务的同时，需要在hadoop2，hadoop3节点（NameNode备用节点）上执行如下命令同步主节点的元数据。
[hadoop@hadoop2 hadoop]$ bin/hdfs namenode -bootstrapStandby
[hadoop@hadoop3 hadoop]$ bin/hdfs namenode -bootstrapStandby
（5）关闭Journalnode集群
hadoop2节点同步完主节点元数据之后，紧接着在hadoop1节点上，按下〈Ctrl+C〉组合键来结束NameNode进程，然后关闭所有节点上面的Journalnode进程，具体操作如下所示。
[hadoop@hadoop1 hadoop]$sbin/hadoop-daemon.sh stop journalnode
[hadoop@hadoop2 hadoop]$ sbin/hadoop-daemon.sh stop journalnode
[hadoop@hadoop3 hadoop]$ sbin/hadoop-daemon.sh stop journalnode
（6）一键启动HDFS集群
如果上面操作没有问题，在hadoop1节点上，可以使用脚本一键启动HDFS集群所有相关进程，具体操作下所示。
[hadoop@hadoop1 hadoop]$ sbin/start-dfs.sh
注意：第一次安装HDFS需要对NameNode进行格式化，HDFS集群安装成功之后，以后使用start-dfs.sh脚本一键启动HDFS集群的所有进程即可。
1.1.3 HDFS集群测试
在浏览器中分别输入网址http://hadoop1:9870，以及http://hadoop3:9870通过 Web 界面查看hadoop1、hadoop3节点的NameNode的状态，结果如图1-6所示。该节点的状态为standby，表示HDFS不能通过hadoop1节点的NameNode对外提供服务。

图1-6 standby状态的NameNode界面
在浏览器中输入网址http://hadoop2:9870，通过Web界面查看hadoop2节点的NameNode的状态，结果如图2-54所示。该节点的状态为active，表示hadoop2节点的NameNode可以对外提供服务。

图1-7 active状态的NameNode界面
注意：某一时刻只能有一个NameNode节点处于active状态。
在hadoop1节点的/home/hadoop/app/hadoop目录下创建words.log文件，然后上传至 HDFS文件系统的/test目录下，检查 HDFS是否能正常使用，具体操作如下：
#本地新建words.log文件
[hadoop@hadoop1 hadoop]$ vi words.log
hadoop hadoop hadoop
spark spark spark
flink flink flink
[hadoop@hadoop1 hadoop]$ hdfs dfs -mkdir /test
#上传本地文件words.log
[hadoop@hadoop1 hadoop]$ hdfs dfs -put words.log /test
#查看words.log是否上传成功
[hadoop@hadoop1 hadoop]$ hdfs dfs -ls /test
/test/words.log
如果上面操作没有异常，说明HDFS分布式集群搭建成功。
1.1.4 YARN集群配置
（1）修改 mapred-site.xml配置文件
mapred-site.xml 文件主要配置跟 MapReduce 相关的属性，这里主要将MapReduce的运行环境指定为YARN，核心配置如下所示。
[hadoop@hadoop1 hadoop]$ vi mapred-site.xml
<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <!--指定运行mapreduce的环境为YARN-->
</property>
</configuration>
（2）修改 yarn-site.xml配置文件
yarn-site.xml 文件主要配置跟YARN 相关的属性，核心配置如下所示。
[hadoop@hadoop1 hadoop]$ vi yarn-site.xml
<configuration>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 启用 resourcemanager ha -->
 <property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
 </property>
 <!-- 声明两台 resourcemanager 的地址 -->
 <property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>cluster-yarn1</value>
 </property>
 <!--指定 resourcemanager 的逻辑列表-->
 <property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2,rm3</value>
</property>
<!-- ========== rm1 的配置 ========== -->
<!-- 指定 rm1 的主机名 -->
 <property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>hadoop1</value>
</property>
<!-- 指定 rm1 的 web 端地址 -->
<property>
 <name>yarn.resourcemanager.webapp.address.rm1</name>
 <value>hadoop1:8088</value>
</property>
<!-- 指定 rm1 的内部通信地址 -->
<property>
 <name>yarn.resourcemanager.address.rm1</name>
 <value>hadoop1:8032</value>
</property>
<!-- 指定 AM 向 rm1 申请资源的地址 -->
<property>
 <name>yarn.resourcemanager.scheduler.address.rm1</name>
 <value>hadoop1:8030</value>
</property>
<!-- 指定供 NM 连接的地址 -->
<property>
 <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
 <value>hadoop1:8031</value>
</property>
<!-- ========== rm2 的配置 ========== -->
 <!-- 指定 rm2 的主机名 -->
 <property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>hadoop2</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address.rm2</name>
 <value>hadoop2:8088</value>
</property>
<property>
 <name>yarn.resourcemanager.address.rm2</name>
 <value>hadoop2:8032</value>
</property>
<property>
 <name>yarn.resourcemanager.scheduler.address.rm2</name>
 <value>hadoop2:8030</value>
</property>
<property>
 <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
 <value>hadoop2:8031</value>
</property>
<!-- ========== rm3 的配置 ========== -->
<!-- 指定 rm3 的主机名 -->
 <property>
 <name>yarn.resourcemanager.hostname.rm3</name>
 <value>hadoop3</value>
</property>
<!-- 指定 rm3 的 web 端地址 -->
<property>
 <name>yarn.resourcemanager.webapp.address.rm3</name>
 <value>hadoop3:8088</value>
</property>
<!-- 指定 rm1 的内部通信地址 -->
<property>
 <name>yarn.resourcemanager.address.rm3</name>
 <value>hadoop3:8032</value>
</property>
<!-- 指定 AM 向 rm1 申请资源的地址 -->
<property>
 <name>yarn.resourcemanager.scheduler.address.rm3</name>
 <value>hadoop3:8030</value>
</property>
<!-- 指定供 NM 连接的地址 -->
<property>
 <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
 <value>hadoop3:8031</value>
</property>
 <!-- 指定 zookeeper 集群的地址 -->
 <property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
 </property>
 <!-- 启用自动恢复 -->
 <property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
 </property>
 <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 -->
 <property>
 <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 环境变量的继承 -->
<property>
 <name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLAS
SPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>
（3）向所有节点同步YARN配置文件
在hadoop1节点上修改完YARN相关配置之后，将修改的配置文件远程复制到hadoop2节点和hadoop3节点，具体操作如下所示。
#将 mapred-site.xml文件远程复制到hadoop2和hadoop3节点
方法1：
[hadoop@hadoop1 hadoop]$scp -r mapred-site.xml  hadoop@hadoop2:/home/hadoop/app/hadoop/etc/hadoop
[hadoop@hadoop1 hadoop]$scp -r mapred-site.xml  hadoop@hadoop3:/home/hadoop/app/hadoop/etc/hadoop
方法2：
[hadoop@hadoop1 hadoop]$ deploy.sh mapred-site.xml  /home/hadoop/app/hadoop/etc/hadoop/ slave
#将yarn-site.xml文件远程复制到hadoop2和hadoop3节点
方法1：
[hadoop@hadoop1 hadoop]$scp -r yarn-site.xml  hadoop@hadoop2:/home/hadoop/app/hadoop/etc/hadoop
[hadoop@hadoop1 hadoop]$scp -r yarn-site.xml  hadoop@hadoop3:/home/hadoop/app/hadoop/etc/hadoop
方法2：
[hadoop@hadoop1 hadoop]$ deploy.sh yarn-site.xml  /home/hadoop/app/hadoop/etc/hadoop/ slave
1.1.5 启动YARN集群服务
YARN HA的实现依赖于Zookeeper，所以需要优先启动Zookeeper集群。因为前面操作已经启动Zookeeper集群，所以该步骤可以跳过。
启动YARN集群
在hadoop1节点上，使用脚本一键启动YARN集群，具体操作如下所示。
[hadoop@hadoop1 hadoop]$ sbin/start-yarn.sh
1.1.6 YARN集群测试
（1）Web界面查看YARN集群
在浏览器中输入网址http://hadoop1:8088（或者http://hadoop2:8088；http://hadoop3:8088），通过 Web 界面查看YARN集群信息，结果如图1-8所示。

图1-8 Web界面查看YARN集群
（2）YARN集群测试
为了测试YARN集群是否可以正常运行MapReduce程序，我们以Hadoop自带的wordcount示例来进行演示，具体操作如图1-9所示。
[hadoop@hadoop1 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /test/words.log /test/out

图1-9 YARN集群运行wordcount
MapReduce作业在YARN集群执行状态结果，如图1-10所示。

图1-10 MapReduce作业运行状态
如果上述操作没有异常，最终作业的状态信息显示为SUCCEEDED，就说明MapReduce程序在YARN集群上面运行成功，从而说明Hadoop分布式集群已经全部搭建成功。
通过命令查询执行结果：
[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -cat /test/out/*
执行结果如图1-11所示。

图1-11MapReduce作业运行结果







II